2D-to-3D facial expression transfer

© 20xx IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.Automatically changing the expression and physical features of a face from an input image is a topic that has been traditionally tackled in a 2D domain. In this paper, we bring this problem to 3D and propose a framework that given an input RGB video of a human face under a neutral expression, initially computes his/her 3D shape and then performs a transfer to a new and potentially non-observed expression. For this purpose, we parameterize the rest shape --obtained from standard factorization approaches over the input video-- using a triangular mesh which is further clustered into larger macro-segments. The expression transfer problem is then posed as a direct mapping between this shape and a source shape, such as the blend shapes of an off-the-shelf 3D dataset of human facial expressions. The mapping is resolved to be geometrically consistent between 3D models by requiring points in specific regions to map on semantic equivalent regions. We validate the approach on several synthetic and real examples of input faces that largely differ from the source shapes, yielding very realistic expression transfers even in cases with topology changes, such as a synthetic video sequence of a single-eyed cyclops.Peer ReviewedPostprint (author's final draft

Algorismes de reconstrucció en tres dimensions

Aquest article presenta un estudi comparatiu entre els diferents algorismes de reconstrucció en tres dimensions. Es presenten diverses tècniques agrupades en tres blocs, els mètodes de calibratge de càmeres, els mètodes de reconstrucció passius i els mètodes de reconstrucció actius. L'article presenta una revisió actualitzada d'alguns dels mètodes englobats en aquests blocs. Per a totes les tècniques utilitzades s'ha fet una revisió qualitativa i quantitativa dels resultats obtinguts per tal de comparar-los en diferents escenaris. Les conclusions i comparacions extretes d'aquest estudi es descriuen i justifiquen al final de l'article.Este artículo presenta un estudio comparativo entre los diferentes algoritmos de reconstrucción en tres dimensiones. Se presentan diferentes técnicas agrupadas en tres bloques, los métodos de calibrado de cámaras, los métodos de reconstrucción pasivos y los métodos de reconstrucción activos. El artículo presenta una revisión actualizada de algunos métodos englobados en estos bloques. Para todas las técnicas utilizadas se ha elaborado una revisión cualitativa y cuantitativa de los resultados obtenidos con tal de compararlos en distintos escenarios. Las conclusiones y comparaciones extraídas de este estudio se describen y justifican al final del artículo.This paper presents a comparative study between different three dimensional reconstruction algorithms. This article presents several techniques grouped in three blocks, camera calibration methods, passive reconstruction methods and active reconstruction methods. This article illustrates an up-to-date review of qualitative and quantitative results in order to compare them in different scenarios. Comparisons and conclusions extracted from this study are described and justified at the end of the article

Lifelike Humans : Detailed Reconstruction of Expressive Human Faces

El desenvolupament de personatges digitals semblants a les persones és una tasca difícil, ja que els humans estem acostumats a reconèixer-nos entre nosaltres i trobar els CGI poc humanitzats. Per complir els estàndards de les produccions de videojocs i pel·lícules digitals és necessari modelar i animar aquests personatges el més proper als éssers humans. Tanmateix, és una tasca difícil i cara, ja que requereix molts artistes i especialistes treballant en un sol personatge. Per tant, per complir aquests requisits, trobem la creació automàtica de cares detallades mitjançant setups de baix cost una opció interessant per estudiar. En aquest treball, desenvolupem tècniques noves per aconseguir cares detallades combinant diferents aspectes que destaquen a l'hora de desenvolupar personatges realistes, detalls de la pell, pèls i expressions facials i microexpressions. Examinem cadascuna de les àrees esmentades amb l'objectiu de recuperar-les automàticament sense interacció de l'usuari ni dades de aprenentatge. Estudiem els problemes buscant la seva robustesa, però també la simplicitat de la configuració, preferint solucions basades en una sola imatge amb il·luminació incontrolada i mètodes que es poden calcular fàcilment amb un ordinador portàtil estàndard. Una cara detallada amb arrugues i detalls de la pell és vital per desenvolupar un personatge realista. En aquest treball, introduïm el nostre mètode per descriure automàticament les arrugues facials de la imatge i transferir-les a la cara base recuperada. A continuació, avancem a la recuperació del cabell facial mitjançant la resolució d'un problema de parametrització amb un nou model de cabell facial. Per últim, desenvolupem una funció de mapatge que permet transferir expressions i microexpressions entre diferents malles facials, que proporciona animacions realistes a la nostra cara detallada. Cobrim tots els punts esmentats parant atenció als aspectes clau com (i) com descriure les arrugues facials d'una manera senzilla, (ii) com recuperar 3D a partir de deteccions 2D, (iii) com recuperar i modelar el cabell facial a partir de 2D a 3D, (iv) com transferir expressions entre models amb detalls de la pell i cabells facials, (v) com realitzar totes les accions descrites sense dades d'aprenentatge ni interacció de l'usuari. En aquest treball, presentem les nostres propostes per resoldre aquests aspectes amb una configuració eficient i senzilla. Validem el nostre treball amb diversos conjunts de dades tant sintètiques com reals, obtenint resultats remarcables fins i tot en casos tan difícils com oclusions per ulleres, barbes denses, inclús treballant amb diferents topologies facials com ciclops d'un sol ull.Desarrollar personajes digitales similares a los humanos es un reto, ya que los humanos estamos acostumbrados a reconocernos entre nosotros y a encontrar a los CGI poco humanos. Para cumplir con los estándares de las producciones de videojuegos y películas digitales, es necesario modelar y animar a estos personajes de la manera más parecida posible a los humanos. Sin embargo, es una tarea ardua y costosa, ya que se requiere a muchos artistas y especialistas trabajando en un solo personaje. Por lo tanto, para cumplir con estos requisitos, encontramos la creación automática de CGIs detallados a través de setups económicos una opción interesante para estudiar. En este trabajo, desarrollamos técnicas novedosas para conseguir personajes detallados combinando diferentes aspectos que se destacan al desarrollar el realismo como detalles de la piel, pelos faciales, expresiones y microexpresiones. Examinamos cada una de las áreas mencionadas con el objetivo de recuperar cada una de las partes automáticamente sin interacción del usuario ni datos para el aprendizaje. Estudiamos los problemas buscando su robustez, pero también la simplicidad de la configuración, prefiriendo soluciones que requieren una sola imagen con iluminación no controlada y cálculos que pueden obtenerse con la comodidad de un ordenador portátil estándar. Una cara detallada con arrugas y detalles de la piel es vital para desarrollar un personaje realista. En este trabajo, presentamos nuestro método para describir automáticamente las arrugas faciales en la imagen y transferirlas a la cara base recuperada. Luego proponemos la recuperación del vello facial resolviendo un problema de ajuste de parámetros con un nuevo modelo de vello facial parametrizable. Por último, introducimos una función de mapeo que permite transferir expresiones y microexpresiones entre diferentes mallas, lo que proporciona animaciones realistas a nuestra cara detallada. Cubrimos todos los puntos mencionados con el enfoque puesto en aspectos clave como (i) cómo describir las arrugas faciales de una manera simple y directa, (ii) cómo recuperar 3D a partir de las detecciones 2D, (iii) cómo recuperar y modelar el vello facial de 2D a 3D, (iv) cómo transferir expresiones entre modelos que contienen tanto el detalle de la piel como el vello facial, (v) cómo realizar todas las acciones descritas sin datos de entrenamiento ni interacción del usuario. En este trabajo, presentamos nuestras propuestas para resolver estos aspectos con una configuración eficiente y simple. Validamos nuestro trabajo con varios conjuntos de datos, tanto sintéticos como reales, demostrando resultados notables incluso en casos desafiantes como oclusiones por gafas, barbas densas y, incluso, trabajando con diferentes topologías faciales como cíclopes de un solo ojo.Developing human-like digital characters is a challenging task since humans are used to recognizing our fellows, and find the computed generated characters inadequately humanized. To fulfill the standards of the videogame and digital film productions it is necessary to model and animate these characters the most closely to human beings. However, it is an arduous and expensive task, since many artists and specialists are required to work in a single character. Therefore, to fulfill these requirements we found an interesting option to study the automatic creation of detailed characters through inexpensive setups. In this work, we develop novel techniques to bring detailed characters by combining different aspects that stand out when developing realistic characters, skin detail, facial hairs, expressions, and microexpressions. We examine each of the mentioned areas with the aim of automatically recover each of the parts without user interaction nor training data. We study the problems for their robustness but also for the simplicity of the setup, preferring single-image with uncontrolled illumination and methods that can be easily computed with the commodity of a standard laptop. A detailed face with wrinkles and skin details is vital to develop a realistic character. In this work, we introduce our method to automatically describe facial wrinkles on the image and transfer to the recovered base face. Then we advance to the facial hair recovery by resolving a fitting problem with a novel parametrization model. As of last, we develop a mapping function that allows transfer expressions and microexpressions between different meshes, which provides realistic animations to our detailed mesh. We cover all the mentioned points with the focus on key aspects as (i) how to describe skin wrinkles in a simple and straightforward manner, (ii) how to recover 3D from 2D detections, (iii) how to recover and model facial hair from 2D to 3D, (iv) how to transfer expressions between models holding both skin detail and facial hair, (v) how to perform all the described actions without training data nor user interaction. In this work, we present our proposals to solve these aspects with an efficient and simple setup. We validate our work with several datasets both synthetic and real data, prooving remarkable results even in challenging cases as occlusions as glasses, thick beards, and indeed working with different face topologies like single-eyed cyclops

Lifelike Humans: Detailed Reconstruction of Expressive Human Faces

El desenvolupament de personatges digitals semblants a les persones és una tasca difícil, ja que els humans estem acostumats a reconèixer-nos entre nosaltres i trobar els CGI poc humanitzats. Per complir els estàndards de les produccions de videojocs i pel·lícules digitals és necessari modelar i animar aquests personatges el més proper als éssers humans. Tanmateix, és una tasca difícil i cara, ja que requereix molts artistes i especialistes treballant en un sol personatge. Per tant, per complir aquests requisits, trobem la creació automàtica de cares detallades mitjançant setups de baix cost una opció interessant per estudiar. En aquest treball, desenvolupem tècniques noves per aconseguir cares detallades combinant diferents aspectes que destaquen a l’hora de desenvolupar personatges realistes, detalls de la pell, pèls i expressions facials i microexpressions. Examinem cadascuna de les àrees esmentades amb l’objectiu de recuperar-les automàticament sense interacció de l’usuari ni dades de aprenentatge. Estudiem els problemes buscant la seva robustesa, però també la simplicitat de la configuració, preferint solucions basades en una sola imatge amb il·luminació incontrolada i mètodes que es poden calcular fàcilment amb un ordinador portàtil estàndard. Una cara detallada amb arrugues i detalls de la pell és vital per desenvolupar un personatge realista. En aquest treball, introduïm el nostre mètode per descriure automàticament les arrugues facials de la imatge i transferir-les a la cara base recuperada. A continuació, avancem a la recuperació del cabell facial mitjançant la resolució d’un problema de parametrització amb un nou model de cabell facial. Per últim, desenvolupem una funció de mapatge que permet transferir expressions i microexpressions entre diferents malles facials, que proporciona animacions realistes a la nostra cara detallada. Cobrim tots els punts esmentats parant atenció als aspectes clau com (i) com descriure les arrugues facials d’una manera senzilla, (ii) com recuperar 3D a partir de deteccions 2D, (iii) com recuperar i modelar el cabell facial a partir de 2D a 3D, (iv) com transferir expressions entre models amb detalls de la pell i cabells facials, (v) com realitzar totes les accions descrites sense dades d’aprenentatge ni interacció de l’usuari. En aquest treball, presentem les nostres propostes per resoldre aquests aspectes amb una configuració eficient i senzilla. Validem el nostre treball amb diversos conjunts de dades tant sintètiques com reals, obtenint resultats remarcables fins i tot en casos tan difícils com oclusions per ulleres, barbes denses, inclús treballant amb diferents topologies facials com ciclops d’un sol ull.Desarrollar personajes digitales similares a los humanos es un reto, ya que los humanos estamos acostumbrados a reconocernos entre nosotros y a encontrar a los CGI poco humanos. Para cumplir con los estándares de las producciones de videojuegos y películas digitales, es necesario modelar y animar a estos personajes de la manera más parecida posible a los humanos. Sin embargo, es una tarea ardua y costosa, ya que se requiere a muchos artistas y especialistas trabajando en un solo personaje. Por lo tanto, para cumplir con estos requisitos, encontramos la creación automática de CGIs detallados a través de setups económicos una opción interesante para estudiar. En este trabajo, desarrollamos técnicas novedosas para conseguir personajes detallados combinando diferentes aspectos que se destacan al desarrollar el realismo como detalles de la piel, pelos faciales, expresiones y microexpresiones. Examinamos cada una de las áreas mencionadas con el objetivo de recuperar cada una de las partes automáticamente sin interacción del usuario ni datos para el aprendizaje. Estudiamos los problemas buscando su robustez, pero también la simplicidad de la configuración, prefiriendo soluciones que requieren una sola imagen con iluminación no controlada y cálculos que pueden obtenerse con la comodidad de un ordenador portátil estándar. Una cara detallada con arrugas y detalles de la piel es vital para desarrollar un personaje realista. En este trabajo, presentamos nuestro método para describir automáticamente las arrugas faciales en la imagen y transferirlas a la cara base recuperada. Luego proponemos la recuperación del vello facial resolviendo un problema de ajuste de parámetros con un nuevo modelo de vello facial parametrizable. Por último, introducimos una función de mapeo que permite transferir expresiones y microexpresiones entre diferentes mallas, lo que proporciona animaciones realistas a nuestra cara detallada. Cubrimos todos los puntos mencionados con el enfoque puesto en aspectos clave como (i) cómo describir las arrugas faciales de una manera simple y directa, (ii) cómo recuperar 3D a partir de las detecciones 2D, (iii) cómo recuperar y modelar el vello facial de 2D a 3D, (iv) cómo transferir expresiones entre modelos que contienen tanto el detalle de la piel como el vello facial, (v) cómo realizar todas las acciones descritas sin datos de entrenamiento ni interacción del usuario. En este trabajo, presentamos nuestras propuestas para resolver estos aspectos con una configuración eficiente y simple. Validamos nuestro trabajo con varios conjuntos de datos, tanto sintéticos como reales, demostrando resultados notables incluso en casos desafiantes como oclusiones por gafas, barbas densas y, incluso, trabajando con diferentes topologías faciales como cíclopes de un solo ojo.Developing human-like digital characters is a challenging task since humans are used to recognizing our fellows, and find the computed generated characters inadequately humanized. To fulfill the standards of the videogame and digital film productions it is necessary to model and animate these characters the most closely to human beings. However, it is an arduous and expensive task, since many artists and specialists are required to work in a single character. Therefore, to fulfill these requirements we found an interesting option to study the automatic creation of detailed characters through inexpensive setups. In this work, we develop novel techniques to bring detailed characters by combining different aspects that stand out when developing realistic characters, skin detail, facial hairs, expressions, and microexpressions. We examine each of the mentioned areas with the aim of automatically recover each of the parts without user interaction nor training data. We study the problems for their robustness but also for the simplicity of the setup, preferring single-image with uncontrolled illumination and methods that can be easily computed with the commodity of a standard laptop. A detailed face with wrinkles and skin details is vital to develop a realistic character. In this work, we introduce our method to automatically describe facial wrinkles on the image and transfer to the recovered base face. Then we advance to the facial hair recovery by resolving a fitting problem with a novel parametrization model. As of last, we develop a mapping function that allows transfer expressions and microexpressions between different meshes, which provides realistic animations to our detailed mesh. We cover all the mentioned points with the focus on key aspects as (i) how to describe skin wrinkles in a simple and straightforward manner, (ii) how to recover 3D from 2D detections, (iii) how to recover and model facial hair from 2D to 3D, (iv) how to transfer expressions between models holding both skin detail and facial hair, (v) how to perform all the described actions without training data nor user interaction. In this work, we present our proposals to solve these aspects with an efficient and simple setup. We validate our work with several datasets both synthetic and real data, prooving remarkable results even in challenging cases as occlusions as glasses, thick beards, and indeed working with different face topologies like single-eyed cyclops.Universitat Autònoma de Barcelona. Programa de Doctorat en Informàtic

2D-to-3D facial expression transfer

© 20xx IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.Automatically changing the expression and physical features of a face from an input image is a topic that has been traditionally tackled in a 2D domain. In this paper, we bring this problem to 3D and propose a framework that given an input RGB video of a human face under a neutral expression, initially computes his/her 3D shape and then performs a transfer to a new and potentially non-observed expression. For this purpose, we parameterize the rest shape --obtained from standard factorization approaches over the input video-- using a triangular mesh which is further clustered into larger macro-segments. The expression transfer problem is then posed as a direct mapping between this shape and a source shape, such as the blend shapes of an off-the-shelf 3D dataset of human facial expressions. The mapping is resolved to be geometrically consistent between 3D models by requiring points in specific regions to map on semantic equivalent regions. We validate the approach on several synthetic and real examples of input faces that largely differ from the source shapes, yielding very realistic expression transfers even in cases with topology changes, such as a synthetic video sequence of a single-eyed cyclops.Peer Reviewe